Generalized Linear Model

Les modèles linéaires généralisés (GLM) sont une extension des modèles de régression linéaire «simples», qui prédisent la variable de réponse en fonction de plusieurs variables prédictives. Les modèles de régression linéaire fonctionnent sur quelques hypothèses, telles que l’hypothèse selon laquelle nous pouvons utiliser une ligne droite pour décrire la relation entre la réponse et les variables prédictives.

On a choisi glmnet car il est simple, rapide, facile à interpréter et pénalise les modèles de régression linéaire et logistique sur la taille et le nombre de coefficients pour éviter le overfitting.

Pour cela, on a spécifié l’alpha (“Ridge regression” (ou alpha = 0), “Lasso regression” (oualpha = 1)) et lambda (taille de la pénalité).

Ensuite, on va commencé à adapter glmnet à notre ensemble de données sur les maladies et à évaluer sa précision prédictive à l’aide de myControl déjà créé:

# Adaptez le modèle glmnet à nos données:
glmnet_grid = expand.grid(alpha = 0:1,
            lambda = seq(0.0001, 1, length = 100))

model_glmnet <- train(
  M~., aEtudier,
  metric = "ROC",
  tuneGrid= glmnet_grid,
  method = "glmnet",
  trControl = myControl
)

Après avoir essayé beaucoup de lambda et alpha, nous pouvons voir qu’un alpha = 0 (Ridge) est le meilleur choix pour empêcher le overfitting, comme le montre le graphique suivant:

#Montrez une comparaison entre les coefficients:
plot(model_glmnet)

On peut voir dans ce qui suit que lorsque nous augmentons lambda c. à d. la pénalité, les points sortent du modèle:

plot(model_glmnet$finalModel)

Dans le graphique suivant, nous pouvons voir les allèles les plus importants ou les plus influents sur les prédictions de ce modèle:

#Les 15 variables qui influencent le plus la décision de 
#prédiction de ce modèle:
plot(varImp(model_glmnet,scale=F),top = 15)

Rainforest

Les forêts aléatoires (Rainforest) sont une extension d’arbres de classification uniques dans lesquels plusieurs arbres de décision sont construits avec des sous-ensembles aléatoires des données. Il combine un ensemble d’arbres de décision non linéaires en un modèle très flexible et généralement assez précis.

Les rainforest sont un peu plus difficiles à interpréter que les modèles linéaires, bien qu’il soit toujours possible de les comprendre.

On utilise le paquet ranger qui est une réimplémentation derandomForest qui produit presque exactement les mêmes résultats, mais qui est plus rapide, plus stable et utilise moins de mémoire

Le tuneGrid nous donne un contrôle plus fin sur les paramètres de réglage qui sont explorés et ensuite une vitesse pour tourner le modèle sur les points qui nous importent. Les mtry ont été choisis après plusieurs exécutions et une grandetuneLength.

Et ensuite, nous commencerons à adapter ranger à notre ensemble de données sur les maladies et à évaluer sa précision prédictive à l’aide de trainControl déjà créé:

#Adaptez le modèle ranger représentant le type de modèle RainForest à nos données:

#Création d'un tuneGrid pour le modèle
rangerGrid <- data.frame(.mtry =c(2,3,5,7,10,11,14,19,27,37,52,73,101,140,194,270,374,519,721,1000), 
                       .splitrule = "gini", 
                       .min.node.size = 1)
model_ranger <- train(
  M~., aEtudier,
  #tuneGrid=rangerGrid,
  metric = "ROC",
  method = "ranger",
  tuneLength=5, #20,30,50
  trControl = myControl
)

Alors pour un splitrule = "gini" et un mtry=11, on arrive à un ROC maximum pour ce modèle:

plot(model_ranger)

Generalized Boosting Model

Ces modèles sont une combinaison de deux techniques: les algorithmes d’arbre de décision et les méthodes de boosting. Les modèles de boosting généralisés s’adaptent à plusieurs reprises à de nombreux arbres de décision pour améliorer la précision du modèle. Alors que les forêts aléatoires construisent un ensemble d’arbres indépendants profonds, les GBM construisent un ensemble d’arbres successifs peu profonds et faibles, chaque arbre apprenant et améliorant le précédent.

Pour chaque nouvelle arborescence du modèle, un sous-ensemble aléatoire de toutes les données est sélectionné à l’aide de la méthode de boosting. Pour chaque nouvel arbre du modèle, les données d’entrée sont pondérées de telle sorte que les données mal modélisées par les arbres précédents ont une probabilité plus élevée d’être sélectionnées dans le nouvel arbre.

Cela signifie qu’après l’ajustement du premier arbre, le modèle tiendra compte de l’erreur de prédiction de cet arbre pour l’ajustement de l’arbre suivant, etc. Cette approche séquentielle est unique au boosting.

On a choisi ce modèle en raison de sa bonne réputation :

# Adaptez le modèle gbm à nos données:
gbmGrid <- data.frame(n.trees = c(50,300), 
                      interaction.depth = c(2,5), 
                      shrinkage = 0.1 ,
                      n.minobsinnode = 10
                      )
model_gbm <- train(
  M~., aEtudier,
 # tuneGrid = gbmGrid,
  metric = "ROC",
  method = "gbm",
  tuneLength=5,
  trControl = myControl,
)

Après plusieurs exécutions, nous avons pu choisir ce tuneGrid qui diminue l’influence des prédicteurs non utiles jusqu’à 81 pour 1000.

Nous pouvons voir dans ce graphique, les variables les plus influentes:

#Les 15 variables qui influencent le plus la décision de 
#prédiction de ce modèle:
plot(varImp(model_gbm,scale=F),top = 15)

Un n.trees =50 et interaction.depth = 4 est le choix optimal:

plot(model_gbm)

model_gbm$finalModel

## A gradient boosted model with bernoulli loss function.
## 50 iterations were performed.
## There were 1000 predictors of which 161 had non-zero influence.

Evolutionnary Trees

Les modèles arborescents répartissent les données en groupes de présence ou d’absence de plus en plus homogènes en fonction de leur relation avec un ensemble de variables environnementales, les variables prédictives. L’arbre de classification unique est la forme la plus élémentaire d’un modèle d’arbre de décision. Comme son nom l’indique, les arbres de classification ressemblent à un arbre et se composent de trois types de nœuds différents, reliés par des bords dirigés (branches).

On a choisi ce modèle pour plus de clarté, sa certitude de prédiction et l’occasion de voir la forme d’arbre réalisée:

# Adapter le modèle d'arbres à partir d'algorithmes génétiques evtree
# à notre données: 
model_evtree <- train(
  M~., aEtudier,
  metric = "ROC",
#  tuneGrid= data.frame(alpha =1),
  method = "evtree",
  trControl = myControl
)
#model_evtree

On peut voir cet arbre à la root ici:

#La forme de l'arbre:
plot(model_evtree$finalModel)

On peut constater de ce qui suit, que alpha=1 est le choix optimal pour le plus grand ROC possible:

#Montrez le modèle sur un graphique:
plot(model_evtree)

On peut voir dans ce graphique, les variables qui influencent le plus la décision:

#Les 15 variables qui influencent le plus la décision de 
#prédiction de ce modèle:
plot(varImp(model_evtree,scale=F),top = 15)

Boîte à Moustaches

# Création d'une boîte à moustache de points ROC:
bwplot(resamps, metric = "ROC")

On peut voir sur ce diagramme de boîte à moustaches que glmnet a une médiane plus grande que celle des 3 autres modèles, en plus la différence entre le minimum et le maximum est plus petite pour glmnet, ce qui indique une distribution plus courte, c’est-à-dire moins données dispersées.

DotPlot

# Creation du DotPlot des points du ROC
dotplot(resamps, metric = "ROC")

Ce diagramme nous montre les mêmes informations de la boîte à moustaches mais on ne voit que la moyenne qui semble plus grand pour glmnet que les autres.

Diagramme de densité

# Création du diagramme de densité des points du ROC:
densityplot(resamps, metric = "ROC")

De ce diagramme de densité, on n’arrive pas à avoir une bonne déduction à cause du grand nombre de courbes.

Nuage de Points

# Création du nuage des points du ROC:
xyplot(resamps, metric = "ROC")

Enfin, selon le scattertrot ci-dessus, nous pouvons comparer directement leAUC sur les 5 plis cv. On voit donc que la plupart du temps, glmnet avait le plus grandAUC et que les 2 modèles sont totalement différents, puis comparables.

Generalized Linear Model

bwplot(model_glmnet$pred$Non)

dotplot(model_glmnet$pred$Non)

De ce graphique, on peut déduire que ce modèle n’est pas toujours «sûr» de ses résultats car il a une médiane et un moyen de prédiction de «Non» qui est proche de 50% et ensuite il conduit à une certitude insuffisante des résultats .

RainForest

bwplot(model_ranger$pred$Non)

dotplot(model_ranger$pred$Non)

De ce graphique, on peut déduire que ce modèle n’est pas, également aux précédents, toujours “sûr” de ses résultats car il a un moyen de prédictions de “Non” qui est proche de “50%” et ensuite il conduit à résultats de précision insuffisants.

Generalized Boosting Model

bwplot(model_gbm$pred$Non)

dotplot(model_gbm$pred$Non)

D’après ce graphe, on peut déduire que ce modèle n’est pas, également aux précédents, toujours “sûr” de ses résultats parce qu’il a un moyen des predictions de “Non” qui est près à 50% et alors ca ammène à des resultats pas assez precis.

Evolutionnary Trees

bwplot(model_evtree$pred$Non)

dotplot(model_evtree$pred$Non)

De ce graphique, on peut déduire que ce modèle est, contrairement aux modèles précédents, très “sûr” de ses résultats car il dispose d’un moyen de prédictions et d’une médiane de “Non” qui est toujours loin de l’intervalle [40% -60%], alors c’est “Oui” ou “Non” et cela conduit alors à des résultats certains.

Prédiction 2

En regardant la distribution des prédictions, on peut voir que evtree est le plus approprié et le plus fiable de ces résultats et, par conséquent, je suggère evtree pour calculer la prédiction des statuts de la maladie comme une deuxième option.

## prediction 2
# Prédire l'état de maladie des patients de la 6e étude 
#avec le modèle choisi
Prediction2_s6 <- data.frame(Predicted2 = predict(model_evtree,aPredire))

#Affichage des prédictions:
Prediction2_s6